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(57) Abstract 



S I ^^Sl R o K i >MBINA ' nON VON AUSGANGSSIGNALEN MEHRERER SCHATZER INSBESONDERF. 
SlcS S EINEM ^^EN NETZ, ZU EINEM GESAMTSCHAT^eSt^tIS'eS 



Output signals of individual, computer-assisted statistical estimators 
(neural networks) are combined into a results signal in a global estimator 
To this .end, the individual estimators are trained selectively by means of 
bootstrap data and the weightings of the individual estimators effected in 
a regularized manner as a contribution to the results signals. Weighting is 
earned out selectively with "1" or according to the variance of the individual 
estimator concerned. As a result, significantly better results are achieved for 
the prediction of numerical values, especially if the amount of training data 
available is small. Said method can be used for modelling, prognosis and 
classification by means of neural networks. 

(57) Zusammenfassung 

Ausgangssignale einzelner rechnergestutzter statistischer Schatzer (neu- 
ronal Netze) werden zu einem Ergebnissignal in einem Gesamtschatzer 
zusammengefaBt. Dabei werden die einzelnen Schatzer wahlweise aber Boot- 
strap-Daten trainiert und die Gewichtungen der einzelnen Schatzer als Beitrae 
zura Ergebnissignal regularisiert vorgenommen. Die Gewichtung erfol« 
wahlweise mit "I " oder abhangig von der Varianz des einzelnen Schatzers Bei 
der Vorhersage von Zahlenwerten werden somit vor allem bei einer kleinen 
Menge zur Verfugung steh nder Trainingsdaten deutlich bessere Ergebnisse 
erzielt. Anwendungen: ModeUierung. Prognose und Klassifilcati n mittels 
neuronaler Netze. 
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Beschreibung 

Verfahren zur Kombination von Aus gangs signal en mehrerer 
Schatzer, insbesondere von mindes tens einem neuronal en Netz, 
5 zu einem von einem Gesamtschatzer ermittel ten Ergebnissignal 

Die Erfindung betrifft ein Verfahren zur Kombination von 
Ausgangssignalen mehrerer Schatzer, insbesondere von 
mindestens einem neuronalen Netz, zu einem von einem 
10 Gesamtschatzer ermittelten Ergebnissignal. 

Bei neuronalen Netzen und anderen rechnergestUtzten 
Schatzern, die auf statistischen Verfahren beruhen, ist es 
zweckmafiig, wenn ein Problem einer Zuordnung von 
15 Eingangssignalen zu Ausgangssignalen in eine reduzierte Menge 
von Zuordnungen aufgeteilt wird. 

Es ist bekannt, einen rechnergestUtzten statistischen 
Schatzer, also beispielsweise ein neuronales Netz, in mehrere 
20 kleinere rechnergestiitzte statistische Schatzer aufzuteilen 
und Aus gangs signale dieser vereinf achten Schatzer zu 
gewichten und in einem Gesamtschatzer zu einem Ergebnissignal 
zu akkumulieren [1]. 

2 5 Um die Ergebnisse bei der Akkumulierung zu verbessern ist aus 
. [2] bekannt, die Aus gangs signale aller Module, also aller 
einzelnen Schatzer, zu mitteln, und somit das von einem 
Gesamtschatzer ermittelte Ergebnissignal zu verbessern. 

30 Hierbei sei angemerkt, dafi sich der Begriff des statistischen 
Schatzers nicht ausschliefllich auf kunstliche neuronale Netze 
beschrankt, sondern jedwede Art rechnergestiitzter Schatzer 
umfafit, die auf statistischen Verfahren basieren. Eine 
Obersicht uber rechnergestiitzte Schatzer, die auf 

35 statistischen Verfahren basieren ist in [3] gegeben. 
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Eine Regularisation ist aus [6] bekannt . Insbesondere wird 
darunter das Hinzufugen eines Terms zu einer Fehlerf unktion 
verstanden. Ein Regularisationsparameter bestimmt dabei das 
Gewicht des Terms zur Regularisation. 

5 

Aus [7] ist ein Verfahren zur rechnergestutzten Kombination 
einer Vielzahl von Schatzern, die auf statistischen Verfahren 
beruhen, insbesondere von neuronalen Netzen, zu einem 
Gesamtschatzer bekannt. 

10 

Dem erf indungsgemafien Verfahren liegt die Aufgabe zugrunde, 
bei einer kleinen Menge von Trainingsdaten ein Uberlernen der 
statistischen Schatzer zu verhindern und somit ein von dem 
Gesamtschatzer ermitteltes Ergebnissignal zu verbessern. 

15 

Die Aufgabe wird gemafi der Merkmale des unabhangigen 
Patentanspruchs gelOst. 

Insbesondere ist fUr die Erfindung von Bedeutung, dafi bei dem 

20 Training des einzelnen Schatzers, insbesondere des neuronalen 
Netzes, eine Regularisation vorgenommen wird. Weiterhin 
werden die Aus gangs signale der einzelnen Schatzer mit je 
einer Gewichtsf unktion bewertet. Dabei hangt jede 
Gewichtsf unktion von den Daten, mit denen der jeweilige 

25 Schatzer trainiert wird, ab. Der Gesamtschatzer mittelt die 
Aus gangs signale aller einzelnen Schatzer zu einem 
Ergebnissignal. Es ist vorteilhaft, dafl bei dem Training 
jedes einzelnen Schatzers die Kostenf unktion minimiert wird, 
wobei ein vorgebbarer Regularisationsparameter angibt, 

30 inwieweit die Varianz des einzelnen Schatzers verringert wird 
zu Lasten eines zunehmenden Einflusses von Rauschen. Werden 
die einzelnen Schatzer mit Bootstrapdaten trainiert, erhalt 
man trotz grofier Werte des Regularisationsparameters noch 
groBe Varianzen. Unter Bootstrapdaten versteht man Daten, die 

35 aus der Menge der Originaldaten durch Ziehen mit Zurticklegen 
gewonnen werden. Fur eine nahere Betrachtung der 
Boots traptechniken kann auf [4] verwiesen werden. 



DOCIO: <WO 98341 77 A2J_> 



WO 98/34177 

PCT/DE98/00267 



Eine Weiterbildung des erf indungsgemafien Verfahrens besteht 
darin, die Gewichtsf unktion far alle Schatzer zu *l» zu 
setzen. Weiterhin konnen die einzelnen Schatzer zusatzlich 
5 mit Bootstrapdaten trainiert werden. 

Auch kann es vorteilhaft sein, in der Gewichtsf unktion die 
Varianz zu beriicksichtigen. Daruber hinaus konnen auch i: 
diesem Fall die jeweiligen Schatzer mit Boots trapdat* 
10 trainiert werden. 



15 



20 



25 



30 
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Weiterbildungen des erf indungsgemafien Verfahrens ergeben sich 
aus den abhangigen Ansprtichen. 

Die Erfindung wird anhand der folgenden Figuren naher 
dargestellt. 

Es zeigen 

Fig.l ein Blockdiagramm, das schematisch eine Anordnung 
darstellt, die zeigt, wie die Ausgangssignale 
mehrerer einzelner Schatzer zu einem Ergebnissignal 
an einem Gesamtschatzer zusammengefuhrt werden, 

Fig. 2 ein Ablaufdiagramm, das die einzelnen Schritte des 
erf indungsgemafien Verfahrens darstellt. 

In Fig.l ist dargestellt, wie die Ausgangssignale der 
emzelnen Schatzer zu einem Ergebnissignal im Gesamtschatzer 
zusammengefuhrt werden. im Folgenden werde angenommen, dafi 
1-1,2 k eine Zellvariable fUr die einzelnen Schatzer ES 
darstellt. Jeder einzelne Schatzer ES wird durch eine 
vorgebbare Auswahl von Trainingsdaten x trainiert. 



Unter emzelnen Schatzern ES werden in diesem Zusammenhang 
rechnergestutzte statistische Schatzer verstanden, wie 
35 beispielsweise neuronale Netze oder jedwede Art anderer 
Schatzer, die auf statistischen Verfahren beruhen. 
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Algorithm zum Trainieren statistischer Schatzer sind dem 
Fachmann bekannt. Eine Ubersicht betreffend eine Auswahl von 
Trainingsalgorithmen ist in [5] gegeben. 

Es ist vorgesehen, dali die einzelnen Schatzer ES nicht alle 
mit denselben Trainingsdaten x trainiert werden, sondern sxe 
konnen auch jeweils nur mit einem Teil der Trainingsdaten x 
trainiert werden, wie das beispielsweise bei Bootstrapdaten 
der Fall ist. 



Durch Gewichtsfunktionen hi werden Ausgangssignale A ± der 
einzelnen Schatzer ES gewichtet, wobei die jeweilige 
Gewichtsfunktion a ± von den Daten, mit denen der jeweilige 
einzelne Schatzer ES trainiert wird, abhangt . 

Das vom Gesamtschatzer GS ermittelte Ergebnissignale ERS 
liegt am Ausgang des Gesamtschatzer GS an und wird wie folgt 
berechnet : 

ERS(x) = f:hi(x)fi(x) (1)' 

M 

mit n(x) = 2 hj(x) und h ± (x) > 0, Vi = 1,2, . . , M , 
j = l " 

wobei 

25 hi(x) eine Gewichtsfunktion fur den jeweiligen Schatzer 

und 

n ( X ) einen Normalisierungsf aktor 

bezeichnen. 

30 Jeder einzelne Schatzer ES wird regularisiert trainiert, urn 
die Kostenfunktion 



ci - S (y k - 4 xk )) + x ■ s w « 

k=l 3 =1 



2 (2) 
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zu minimieren, wobei 

i=l,2,..,M den jeweiligen Schatzer, 

K s L eine Menge von K Trainingsdaten aus einer Menge 

5 von L Gesamttrainingsdaten, 

Y einen Ausgabewert des jeweiligen Schatzers, 

fi (x) eine Antwort des i-ten Schatzers auf die Eingabe 

x, 

^ - 0 einen Regularisationsparameter, 

10 J eine Anzahl von Gewichten in dem jeweiligen 

Schatzer und 



30 



35 



j =1 Gewichte des i-ten Schatzers, 
bezeichnen. 

15 Die Gewichtsfunktion h ± fur jeweils alle Schatzer kann 
gesetzt werden zu 

20 oder zu 

hi(x) = 



varl 



(fi(x)) (4), 



wobei var(fi(x)) die Varianz. des Schatzers i fur eine 
25 Eingabe x bezeichnet. 

Es ist vorteilhaft, sowohl die nach Gleichung (3) also auch 
nach Gleichung (4) gewichteten einzelnen Schatzer jeweils mit 
Bootstrapdaten zu trainieren. 



Anwendung des erf indungsgexaafien Verfahrens ist die Pradiktion 
von Zahlenfolgen. Eine Menge von vergangenen bekannten 
Zahlenwerten wird benutzt urn einen Schatzer zu trainieren, 
der entsprechend dem erf indungsgemafien Verfahren unterteilt 
xst in einzelne Schatzer und einen Gesamtschatzer . Das somit 
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trainierte System aus mindestens einem rechnergestiitzten 
statistischen Schatzer ist in der Lage, mit einer bestimmten 
Vorhersagewahrscheinlichkeit den nachsten Wert einer 
Zahlenfolge vorherzusagen . 

Fig. 2 zeigt die einzelnen Schritte des erf indungsgemafien 
Verfahrens. In Schritt 2a wird ein regularisiertes Training 
vorgenommen, wobei die Kostenf unktion (2) minimiert werden 
soil. Dazu mufi der Regularisationsparameter k entsprechend 
der jeweiligen Anwendung eingestellt werden. Im Schritt 2b 
wird die Gewichtsf unktion ftir jeden Schatzer berechnet. Als 
Gewichtsf unktion wird entweder Formel (3) oder Formel (4) 
verwendet . 



Schliefilich wird das Ergebnissignal im Schritt 2c gemaft 
Formel (1) berechnet. 
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Patentanspruche 

1. Verfahren zur ^Combination von Ausgangssignalen mehrerer 
Schatzer, insbesondere von mindestens einem neuronalen 
5 Netz, zu einem von einem Gesamtschatzer ermittelten 

Ergebnissignal, 

a) bei dem die einzelnen Schatzer als neuronale Netze 
ausgefUhrt sind und mit vorgebbaren Daten trainiert 
werden, 

10 b) bei dem das Training der Schatzer regularisiert 

vorgenommen wird, 

c) bei dem das Ausgangssignal jedes einzelnen Schatzers 
mit einer Gewichtsf unktion bewertet wird, 

d) bei dem jede Gewichtsf unktion von den Daten, mit denen 
15 der jeweilige Schatzer trainiert wird, abhangt, 

e) bei dem das Ergebnissignal vom Gesamtschatzer 
ermittelt wird, indem die Ausgangssignale unter 
Berucksichtigung der jeweiligen Gewichtsf unktionen 
gemittelt werden. 



20 



Verfahren nach Anspruch 1, 

bei dem jeder Schatzer regularisiert trainiert wird, urn 
die Kostenfunktion C 



K ' > - -2 i, o 



25 Ci = Z(y k -fi(x k )) Z 

k=l j=l 
zu minimieren, wobei 

i=l,2,..,M den jeweiligen Schatzer, 

30 K c: L eine Menge von K Trainingsdaten aus einer 

Menge von L Gesamttrainingsdaten, 
y einen Ausgabewert des jeweiligen 

Schatzers, 

f j_ ( X ) eine Antwort des i-ten Schatzers auf die 

35 Eingabe x, 

X ^ 0 einen Regularisationsparameter , 
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J eine Anzahl von Gewichten in dem 

jeweiligen Schatzer, 

{ w ij}j =1 Gewichte des i-ten Schatzers, 



bezeichnen. 



3. Verfahren nach Anspruch 2, 

bei dem sich das Ergebnissignal (ERS) des Gesamtschatzers 
ergibt aus 



1 M 



ERS(X> = n(x) Shi(x)fi(x) 



i = l 
M 

mit n(x) = 2>j(x) und h± (x) > 0, Vi = 1,2, . . , M , 
3 = 1 

wobei 

hi(X) eine Gewichtsfunktion ftir den jeweiligen 

Schatzer und 

n(x) einen Normalisierungsf aktor, 

bezeichnen. 

Verfahren nach Anspruch 3, 

bei dem die Gewichtsfunktion (h) fur alle Schatzer 
gesetzt wird zu . 

hi(x) = 1, Vi = 1,2, . . . , m . 
Verfahren nach Anspruch 4, 

bei dem die jeweiligen Schatzer mit Bootstrap-Daten 
trainiert werden. 

Verfahren nach Anspruch 3, 

bei dem die Gewichtsfunktion (h) ftir alle Schatzer 
gesetzt wird zu 



WO 98/34177 



10 



PCT/DE98/00267 



h±(x) = — Trm* Vi = 1,2 M/ 

var^Cx); 



wobei 

var(fi(x)) die Varianz des Schatzers i fur eine 

Eingabe x 

bezeichnet . 

7. Verfahren nach Anspruch 6, 

bei dem die jeweiligen Schatzer mit Bootstrap-Daten 

trainiert werden. 
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(57) Abstract 
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(neural networks) are combined into a results signal in a global estimator. 
! k° *" d ' me individual estimators are trained selectively by means of 
bootstrap data and the weightings of the individual estimators effected in 
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(57) Zusammenfassung 

Ausgangssignale einzelner rechnergestutzter statistischer Schatzer (neu- 
ronal Netze) werden zu einem Ergebnissignal in einem Gesamtschatzer 
zusammengefaBt, Dabei werden die einzelnen Schatzer wahlweise tlber Boot- 
strap-Daten trainiert und die Gewichtungen der einzelnen Schatzer als Beitrag 
zum Ergebnissignal regulansiert vorgenommen. Die Gewichtune erfolrt 
wahhveise mit » 1 - oder abhftngig von der Varianz des einzelnen ScSers bS 
der Vorhersage von Zahlenwerten werden somit vor allem bei einer kleinen 
Menge zur VerfUgung stehender Trainingsdaten deutlich beSrirgS 
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